GUT: Quantifying and Optimizing the Reasoning Uncertainty of LLMs via Graph Complexity
GUT:基于图复杂度量化与优化 LLM 推理不确定性
🧭 LLM 推理不确定性量化与优化
National Key Laboratory for Novel Software Technology, Nanjing University · School of Intelligent Science and Technology, Nanjing University
用有向无环图表征推理分支,以图复杂度量化推理不确定性并通过强化学习降低不确定性。
📌 工作参考价值(4 点)
- 在 Agent 多步规划或推理场景中,对同一输入采样多条推理链构建 DAG,用图复杂度(节点/边/分支比)作为不确定性分数,可触发重试、请求用户澄清或降低自动决策阈值。
- 将“负不确定性”作为奖励信号加入 RLHF/DPO 等优化流程,能训练模型生成更聚焦、更少发散的推理路径,适用于需要稳定输出的推荐解释、搜索 query 改写等场景。
- 图结构相比单链采样更能捕获分支覆盖,可作为在线评估指标,监控生成式推荐/Agent 的推理稳定性,及时发现漂移。
- 该方法属于通用推理层优化,不依赖具体业务数据,但落地时需重新定义领域图结构与复杂度度量。